Не секрет, что являясь конкурентами в плане технологий виртуализации, компании VMware и Microsoft также ведут и сотрудничество. Как раз результатом такого сотрудничества и стала интеграция драйверов VMware Paravirtual SCSI controller (PVSCSI) в операционную систему Microsoft Windows 11, начиная с версии 2H22 (выпущена 20 сентября этого года).

Раньше при установке гостевой ОС в виртуальной машине на дисках PVSCSI система Windows просто не видела диски на этом контроллере, поэтому установить ее на них было нельзя. Теперь же на шаге обнаружения диска и сетевых устройств (виртуальный сетевой адаптер с драйверов VMware VMXNET3) вы можете их увидеть в рамках рабочего процесса Windows Out of Box Experience (OOBE):

Между тем, это вовсе не значит, что после установки операционной системы вы не должны устанавливать пакет VMware Tools. Его обязательно нужно поставить, так как он содержит не только драйверы устройств, но и другие важные вспомогательные инструменты.

Также драйверы VMware Paravirtual SCSI и VMware VMXNET3 теперь включены в обновления Windows Updates:

Для получения более подробной информации об интеграции службы обновлений Windows и драйверов VMware вы можете воспользоваться статьей KB 82290 или поиском в Microsoft Update Catalog.

Вчера мы писали о важном нововведении технологии горячей миграции виртуальных машин vMotion Notifications, появившемся в обновленной версии VMware vSphere 8, представленной на конференции Explore 2022. Она позволяет оповещать приложение гостевой ОС о скором начале миграции, чтобы оно могло подготовиться к ней и выполнить процедуры по приостановке сервисов или переключению на резервную систему для кластеризованных приложений.

Второе важное нововведение vMotion в ESXi 8 - это технология Unified Data Transport.

Для миграции включенных виртуальных машин используется протокол vMotion, который оптимизируют уже много лет - он многопоточный и асинхронный, что позволяет минимизировать время перемещения виртуальной машины между хостами ESXi. Этот же протокол использует и технология миграции хранилищ Storage vMotion. В то же время, если вам нужно переместить выключенную виртуальную машину (холодная миграция), то это может занять значительное время, так как в этом случае используется протокол Network File Copy (NFC).

Приведем ниже сравнительные характеристики обоих протоколов (реальная скорость миграции будет зависеть от параметров вашего окружения):

Чтобы привести все к единому уровню производительности, VMware представила технологию Unified Data Transport (UDT) в платформе vSphere 8, которая комбинирует лучшие моменты обеих технологий NFC и vMotion.

Unified Data Transport (UDT) использует NFC как протокол для управления миграцией, а вот сама передача данных идет через протокол vSphere vMotion. Для того, чтобы эта технология работала, вам нужно активировать сервис "Provisioning" для интерфейса VMkernel (это может быть как новый, так и уже существующий интерфейс):

Если вы используете выделенный стек TCP/IP для vMotion, вы не сможете активировать службу "Provisioning" на этом же интерфейсе, в этом случае можно просто создать еще один интерфейс.

Посмотреть вживую, насколько хорошо работает технология Unified Data Transport для холодной миграции виртуальных машин, вы можете в видео ниже:

Прочитайте также "VMware vSphere 8? Часть 1 - vMotion Notifications".

По итогам прошедшей конференции Explore 2022 компания VMware анонсировала платформу виртуализации vSphere 8. В прошлой версии платформы в технологии горячей миграции vMotion появилось очень много всего нового (например, вот, тут, тут, тут и тут). В этой версии также были сделаны некоторые улучшения vMotion, давайте на них посмотрим.

vSphere vMotion Notifications

Как вы знаете, переключение с одного процесса ВМ на другой целевого хоста ESXi занимает очень мало времени, и для большинства приложений это незаметно. Однако есть очень небольшое количество приложений, которые не могут пережить малые задержки (latency), поскольку очень интенсивно используют ресурсы CPU и хранилищ. Таких случаев буквально единицы, но VMware решила позаботиться и о них.

Теперь приложения могут быть написаны таким образом, чтобы они могли получить оповещение о предстоящей миграции vMotion и подготовиться к ней. Такие действия могут включать в себя остановку сервисов, заморозку приложения (quiescing), переключение на резервный инстанс в случае кластеризованного приложения, а также выполнение других операций.

Приложение может отложить миграцию vMotion на заданный таймаут, но не может отклонить и остановить ее. Вот как это работает (кликните на картинку для открытия анимации):

Приложение, через механизм VMware Tools, может быть оповещено о начале задачи vMotion. На полученную нотификацию оно реагирует согласно своей логике, после чего отсылает подтверждение платформе ESXi о том, что миграцию можно начинать. Виртуальная машина затем перемещается с помощью vMotion, после чего приложение получает оповещение о завершении миграции, чтобы оно могло также выполнить необходимые шаги, учитывая действия, совершенные на этапе подготовки.

Механизм vMotion Notifications не включен по умолчанию. Чтобы это работало, надо в расширенных настройках виртуальной машины установить параметр vmOpNotificationToAppEnabled:

После этого нужно установить host-level timeout, который будет определять максимальное время, которое есть у виртуальной машины для завершения подготовки к миграции. Для этого нужно через vSphere API установить параметр vmOpNotificationToApp.Timeout со значением большим 0. Значение устанавливается в секундах (то есть, чтобы дать приложению 5 минут, нужно установить значение 300).

Для установки данного параметра используйте ConfigManager API (см. документацию).

Приложение должно использовать утилиту командной строки vmtoolsd пакета VMware Tools для регистрации оповещений. Вот какие команды ему доступны:

• vm-operation-notification.register
• vm-operation-notification.unregister
• vm-operation-notification.list
• vm-operation-notification.check-for-event
• vm-operation-notification.ack-event

Например, можно использовать следующую команду:

Чтобы это все работало, необходимы следующие вещи:

• Версия платформы VMware vSphere 8
• Версия виртуального аппаратного обеспечения hardware version 20
• Для гостевой ОС должны быть установлены VMware Tools или Open VM Tools с минимальной версией 11.0

Ну и демонстрационное видео от VMware о том, как это работает:

Прочитайте также "VMware vSphere 8? Часть 2 - Unified Data Transport".

В конце лета этого года компания VMware провела конференцию Explore 2022, где представила новую версию решения для создания отказоустойчивых хранилищ VMware vSAN 8. Главным нововведением обновленной платформы стала архитектура Express Storage Architecture (ESA), которая позволяет достичь максимальных показателей производительности и эффективности на базе высокопроизводительных систем хранения. Сегодня мы посмотрим, какие улучшения механизма работы снапшотов появились в vSAN, работающем в ESA-варианте.

Еще много лет назад мы писали о том, что снапшоты - это зло, и использовать их нужно с большой осторожностью и при большой необходимости. Например, перед обновлением виртуального аппаратного обеспечения, ОС или критичных приложений можно сделать снапшот, проверить что все в порядке после обновления, а затем удалить его.

Снапшоты, создаваемые для специфических целей администраторов, часто разрастаются в разных ветках, что в итоге приводит к падению производительности виртуальной машины и операционным сложностям при консолидации (например, недостаток места). При этом снапшоты - это вещь нужная для таких процессов, как резервное копирование и автоматизированные рабочие процессы Continuous Integration/Continuous Delivery (CI/CD), Copy Data Management (CDM), а также управление виртуальными ПК VMware Horizon.

Часто в большой инфраструктуре VMware vSphere можно обязательно найти вот такую машину, которая "почему-то тормозит":

Традиционно снапшоты в VMware vSphere строились на базе технологии redo-log (дельта диск отличий от основного VMDK), которая имеет ограничения по масштабируемости и производительности. Снапшоты типа VMFSsparse использовались по умолчанию в файловой системе VMFS5 для дисков менее 2 ТБ и для всех дисков на системах до VMFS5.

VMFSsparse работает поверх VMFS как redo-log, который создается пустым, как только для ВМ создается снапшот, и растет до размера родительского VMDK-диска, накапливая данные. Начиная с VMFS5, для дисков более 2 ТБ и для всех дисков VMFS6 был добавлен формат снапшота VMFS SEsparse. Это эволюционное изменение снапшотов, которое давало улучшения в плане склеивания снапшотов и в отношении их больших цепочек, где ранее происходила потеря производительности.

Также для SEsparse снапшотов было сделано множество улучшений в новых версиях vSphere, например, при чтении данных для машин со снапшотами была существенно увеличена производительность: чтение идет сразу из нужного VMDK, минуя всю цепочку снапшотов при каждом обращении, в отличие от того, как это было сделано раньше. Все это снижает latency на чтение:

Также были сделаны некоторые оптимизации "подмораживания" (stun) при различного рода операциях со снапшотами, а также специфические технологии, такие как Mirror driver, но концептуально суть снапшотов не поменялась. Поэтому VMware продолжала давать рекомендации не хранить их более 48 часов и не создавать длинных цепочек снапшотов, особенно для критичных нагрузок.

Архитектура снапшотов в vSAN базируется на традиционных redo-log снапшотах, которые были доработаны - так появился формат vsanSparse (начиная с vSAN 6). Он использует механизм redirect-on-write и снижает некоторые технические ограничения снапшотов за счет кэширования, но проблемы подмораживания и долгого времени удаления снапшотов остаются.

В новой версии vSAN 8 при использовании архитектуры ESA, снапшоты используются совершенно другим образом, нежели в прошлых версиях платформы. Вместо использования традиционной цепочки базового и дельта-дисков, механизм снапшотов использует lookup table, применяя структуры B-Tree.

Файловая система log structured file system в vSAN ESA позволяет новым операциям записи помещаться в новые сегменты хранилища с их указателями метаданных, интеллектуально размещая их в соответствии с принадлежностью к снапшотам. В этом случае время удаления снапшота снижается более чем в 100 раз по сравнению с прошлыми версиями платформы vSAN.

Также новая архитектура снапшотов снижает и накладные расходы на вычисления и перемещения данных, которые происходят при удалении снапшотов (а это были одни из самых нагружающих инфраструктуру операций). По-сути, когда в vSAN 8 удаляется снапшот, происходит лишь удаление метаданных, а физического перемещения блоков не происходит.

Мало того, пользователь получает подтверждение удаления снапшота сразу же, а удаление данных и метаданных происходит позже, в асинхронном режиме. Новая архитектура снапшотов ESA позволяет использовать практически неограниченное количество снапшотов - однако текущие параметры платформы vSphere ограничивают число снапшотов числом 32 на один объект.

Как знают администраторы VMware vSphere, решения для резервного копирования используют снапшоты через vSphere Storage API (также называемые VADP) для передачи резервных копий на хранилища. Новая функциональность vSAN ESA автоматически заменит старый механизм снапшотов, а пользователи увидят реальный прирост производительности при консолидации снапшотов, а также при работе продуктов VMware SRM и vSphere Replication в кластерах ESA.

Вчера мы писали о новых возможностях поддержки vVols в платформе VMware vSphere 8, анонсированные на конференции VMware Explore 2022. В то же время, с точки зрения хранилищ в платформе VMware vSphere 8 появилось еще несколько улучшений, о которых мы сегодня расскажем.

1. Улучшения возврата емкостей в хранилище (Space Reclamation)

Теперь минимально доступная скорость возврата (reclamation rate) уменьшена до 10 MBPS. Еще в vSphere 6.7 появилась функция регулировки скорости возврата (Space Reclamation, он же UNMAP) емкостей от платформы vSphere на сторону хранилища. Но даже на минимальной скорости 25 MBPS при одновременном выполнении команд доступа хостов к хранилищам происходили сбои из-за нагрузки и падение производительности, поэтому администраторам дали возможность снизить ее до 10 MBPS на уровне датастора.

Также теперь появилась выделенная очередь исполнения команд UNMAP для выскоприоритетных операций ввода-вывода метаданных VMFS. Это сделано для того, чтобы важные и первоочередные операции не затерялись в общем трафике UNMAP-команд.

2. Контейнерные хранилища CNS/CSI

Теперь для хранилищ CNS/Tanzu доступны политики хранилищ SPBM - EZT, LZT или Thin provisioning. Это позволит движку SPBM поддерживать создание и изменение правил политик, чтобы определить опции выделения томов. Также это упростит проверки комплаенса политик SPBM в отношении правил выделения томов.

• Для виртуальных дисков поддерживаются следующие операции: create, reconfigure, clone и relocate
• Для FCD-устройств поддерживаются: create, update storage policy, clone и relocate

3. Улучшения работы с NFS-хранилищами

Здесь были добавлены следующие функции для повышения надежности и стабильности:

• Повторная попытка монтирования томов при сбоях (Retry NFS mounts on failure)
• Валидация правильности монтирования томов (NFS mount validation)

Более подробно о нововведениях VMware vSphere 8 в плане хранилищ рассказано вот в этой статье.

На конференции Explore 2022 компания VMware объявила о выпуске новой версии платформы VMware vSphere 8, о возможностях которой мы уже писали. Сегодня мы посмотрим, что нового появилось в механизме работы томов vVols, которые позволяют более гибко подходить к хранению объектов виртуальных машин за счет передачи некоторых функций работы с их данными на сторону хранилищ.

Сегодня мы поговорим о нововведениях, которые появились в технологии vVols для восьмой версии платформы.

1. Поддержка технологии NVMe-oF

Это большое нововведение означает поддержку томами vVols на платформе vSphere 8 технологии NVMe-oF. В новой спецификации vVols появились определения vSphere API для механики работы с хранилищами VASA (vSphere Storage APIs for Storage Awareness) 4.0.

Напомним, что NVMe-oF - это реализация технологии RDMA, которая позволяет не использовать CPU для удаленного доступа к памяти и пропускать к хранилищу основной поток управляющих команд и команд доступа к данным напрямую, минуя процессоры серверов и ядро операционной системы. Еще один его плюс - это то, что он обратно совместим с такими технологиями, как InfiniBand, RoCE и iWARP. Для всего этого нужна поддержка RDMA со стороны HBA-адаптера хоста ESXi.

NVMe-oF имеет преимущество в виде меньших задержек (latency) над традиционным интерфейсом SCSI. Эта технология изначально предназначена для флэш-памяти и позволяет подключать all-flash NVMe дисковые массивы с очень высокой производительностью.

В рамках технологии NVMe-oF vVols каждый объект vVol становится пространством имен NVMe Namespace. Эти пространства имен группируются в ANA group (Asymmetrical Namespace Access). Многие команды проходят как In-Band для более эффективной коммуникации между хостами ESXi и дисковыми массивами.

Также упростилась настройка томов, в том числе NVMe с технологией vVols. При развертывании NVMe в vCenter, когда зарегистрирован VASA-провайдер, оставшаяся установка происходит в фоновом режиме, а обнаружение NVMe-контроллеров происходит автоматически. Как только создается датастор, объекты vPE (virtual Protocol Endpoints) и само соединение подхватываются и обрабатываются автоматически.

2. Дополнительные улучшения vVols NVMe-oF

Они включают в себя следующее:

• Поддержка до 256 пространств имен и 2000 путей
• Расширенная поддержка механизма резерваций для устройств NVMe - это позволит поддерживать функцию Clustered VMDK для кластеризованных приложений, таких как Microsoft WSFC на базе хранилищ NVMe-oF 
• Функции автообнаружения в механизме NVMe Discovery Services для ESXi при использовании NVMe-TCP для обнаружения контроллеров NVMe

3. Прочие улучшения

• Улучшение VM swap - уменьшенное время при включении и выключении для обеспечения лучшего быстродействия vMotion
• Улучшенная производительность компонента config-vVol - убраны задержки при обращения виртуальных машин к платформе ESXi

Компания NAKIVO выпустила обновление решения Backup & Replication v10.7, предназначенного для резервного копирования и репликации виртуальных машин в инфраструктуре VMware vSphere и Microsoft Hyper-V.

Давайте посмотрим, что нового в NAKIVO Backup & Replication v10.7:

• Backup to Azure Blob - теперь сами резервные копии и копии этих копий могут храниться в облачном блочном хранилище Azure Blob. Также для этого способа бэкапа поддерживаются функции immutability, то есть неизменяемость созданных копий.
• Backup to Backblaze B2 - теперь возможно резервное копирование в это облачное хранилище с обеспечением всех Enterprise-возможностей и функций immutability для защиты от ransomware.
• Microsoft Teams Backup - пользователям стала доступна защита данных инфраструктуры контента Microsoft Teams. Теперь можно сохранять и восстанавливать различные типы объектов, такие как каналы, посты и файлы для обеспечения непрерывности бизнеса.
• Wasabi Immutability - для этого типа хранилищ стали доступны функции immutability для защиты от ransomware на период, который определяется пользователем.
• Native Microsoft 365 Change Tracking - теперь для инфраструктуры Microsoft 365 работает технология быстрого создания инкрементальных бэкапов за счет интеграции с нативной технологией Microsoft для отслеживания изменяющихся блоков.
• Overview Dashboard - был добавлен дэшборд, на котором в реальном времени показываются основные параметры вашей бэкап-инфраструктуры, а также доступны функции для быстрого доступа к функциональности для защиты данных корпоративного датацентра.

Загрузить бесплатную пробную версию NAKIVO Backup & Replication v10.7 можно по этой ссылке.

Много лет назад мы писали о технологиях работы кэша write-through и write-back в ведущем на рынке виртуализации хранилищ решении StarWind Virtual SAN. С тех пор механика работы этих технологий была улучшена, но принципы остались теми же, как и большинство фундаментальных технологий. Сегодня мы поговорим о работе кэшей уровней L1 и L2, которые существенно улучшают быстродействие операций ввода-вывода.

При работе StarWind Virtual SAN с хранилищами используется кэш первого уровня (L1), располагающийся в оперативной памяти, а также кэш второго уровня (L2), размещенный на SSD-дисках, обеспечивающих высокое быстродействие системы.

StarWind использует традиционную оперативную память серверов (RAM) как буфер на чтение (write buffer) и L1-кэш, чтобы кэшировать операции записи, флэш-память SSD уже обслуживает кэш уровня L2. Оба кэша используют одни и те же алгоритмы - shared library, поэтому информация ниже применима, в основном, к кэшам обоих уровней. Об их отличиях мы также поговорим в статье отдельно.

При переполнении кэша нужно освободить его, используя какой-то алгоритм. StarWind применяет для этого алгоритм LRU - least recently used, то есть вытесняются данные (блоки), которые используются реже всего в последнее время.

В зависимости от степени исчерпания состояния кэша, его блоки могут находиться в одном из трех состояний: dirty, clean и empty. В самом начале блок помечается как empty - в нем нет данных, то есть блоки кэша не ассоциированы с блоками на диске. При работе кэша эти данные начинают заполняться. Блок помечается как dirty - если полезные данные были записаны в него, но еще не были записаны на диск (он не подтвердил запись данных). Блок помечается как clean, если данные из кэша были записаны на диск, либо блок кэша был записан в результате чтения в кэш блока с диска - то есть блок кэша и блок на диске содержат одинаковые данные.

Помните, что стандартный размер блока для кэша - 64 КБ.

Следующее полезное понятие - это прогрев кэша (cache warm-up). Эта концепция имплементируется на нижнем уровне в рамках сценария "in-memory" файловой системы LSFS (log-structured file system). Данные в кэш в этом случае попадают с диска, с учетом самых последних данных, записанных на диск.

Политики кэширования

Политика кэширования определяется вместе с другими параметрами кэша / устройств, когда они создаются. В StarWind Version 8 Release 5 режим работы кэша может быть изменен на лету для уже существующих устройств.

Write-back caching

Это режим, когда запись данных производится в кэш, но операция ввода-вывода (I/O) подтверждается, как запись на диск. Запись в основную память производится позже (при вытеснении или по истечению времени), группируя в одной операции несколько операций записи в соседние ячейки. Этот тип кэширования существенно ускоряет скорость записи данных на диск, однако имеет несколько меньшую надежность с точки зрения записи данных.

Если блок находится в статусе empty или clean, то запись в кэш происходит практически мгновенно, на уровне скорости записи данных в RAM или на SSD. А вот как работает кэш в разных обстоятельствах:

• Если операции записи не были сделаны в dirty-кэш на протяжении некоторого времени (по умолчанию 5 секунд), то данные записываются на диск. Блок переходит в состоянии clean, но данные в нем остаются.
• Если все доступные блоки кэша находятся в состоянии dirty, то данные, хранимые в самых старых блоках, форсированно скидываются на диск, а новые данные записываются в эти блоки. В этом случае производительность кэша несколько падает из-за требующихся операций записи на диск, и она сравнима со скоростью такой операции с диском.
• Если происходит сбой в работе сервера или памяти (или его выключают на обслуживание), то данные в кэше write-back, помеченные как dirty, немедленно сбрасываются на диск. Если размер кэша большой (гигабайты), то эта операция может занять значительное время. Его можно оценить так: Flushing time = cache size / RAM write.

Политика кэширования write-back ускоряет производительность в следующих случаях:

• Флуктуации нагрузки - кэш позволяет сгладить пики нагрузки за счет аккумуляции большого числа записей в кэше во время всплесков до момента снижения нагрузки.
• Постоянная перезапись тех же самых блоков - в этом случае они постоянно перезаписываются только в кэше, а на диск сбрасываются пачки блоков по мере необходимости.

Помните, что политика write-back предпочтительна для L1-кэша и в данный момент недоступна для L2-кэша, который всегда создается в режиме write-through.

Write-through caching

Это режим, когда запись производится непосредственно в основную память и дублируется в кэш. Такой тип кэширования не ускоряет запись данных на диск (но и не замедляет), но существенно увеличивает скорость чтения данных, которые можно взять из кэша. Этот тип кэша безопасен с точки зрения надежности данных и дает однозначный выигрыш в производительности.

При использовании этого типа кэширования не будет потери данных в случае неисправности сервера и памяти. Блоки памяти кэша в этом случае всегда помечены как clean.

Рекомендации по использованию кэша

L1 Cache

Он решает следующие проблемы:

• Запросы партнерского узла StarWind Virtual SAN могут приходить с небольшой задержкой и изменять порядок доступа к блокам, например, 1-2-3-4-5-6-7-8 изменится на 1-3-2-4-5-7-6-8. В этом случае L1- кэш сгладит поток последовательных запросов на запись с применением алгоритма round robin в дополнение к кэшированию. L1-кэш объединяет маленькие запросы записи в большие (write coalescing). Например, 16 запросов по 4k в кэш будут записаны на диск как единый блок 64к, что работает гораздо быстрее. Поэтому для такого кэша не нужно много памяти - от 128 МБ.
• L1 также компенсирует перезапись в те же секторы диска. Самая частая перезапись - это небольшие по размеру операции. Размер кэша должен зависеть от от частоты перезаписи данных и размера working data set. Чем чаще перезапись, теперь меньше вы можете делать кэш, но если больше размер working data set, то должен быть и больше кэш. В этом случае работает формула Tcached = Tdisk * (1 – (cache size) / (working set size)). В этом случае, если у вас кэш составляет 0.1 от data working set, процессинг данных будет составлять 0.9 от времени процессинга данных на диск. Если же cache size = working data set, то средний процессинг команд будет примерно равен времени процессинга команд в памяти.

StarWind L1 cache в режимах write-back и write-through может быть использован для:  

• Файловых устройств StarWind HA image file на базе HDD-хранилищ в конфигурации RAID 10.  
• Устройств StarWind LSFS на базе HDD в конфигурациях RAID 5, 6, 50, 60. Также посмотриите статью о требованиях устройств LSFS.

Также помните, что в большинстве случаев для дисковых массивов all-flash кэш уровня L1 вам не потребуется.

В идеале размер кэша L1 должен быть равен размеру working data set. Также размер кэша L1 влияет на время, которое вам потребуется, чтобы выключить сервер (нужно сбросить грязные блоки на диск). Также помните, что лучше не делать L1 кэш в режиме WB, чтобы не создавать ситуацию, когда большой объем данных может быть утерян.

При использовании кэша L1 в режиме write-back обязательно используйте UPS для серверов, чтобы не потерять часть данных. Время работы UPS должно позволяет сбросить содержимое грязного кэша на диск.

L2 Cache (Flash Cache)

Для обслуживания кэша L2 создается обычное устройство ImageFile device. У этого устройства нет таргета, и оно соединено с системой точно так же, как и устройство с данными (ImageFile or LSFS).

Система с кэшем L2 должна иметь больше оперативной памяти RAM для обеспечения накладных расходов. Формула тут такая: 6.5 ГБ RAM на 1 ТБ кэша L2, чтобы хранить метаданные. Более подробно о кэше L2 можно почитать в базе знаний StarWind.

StarWind L2 cache может быть использован для следующих сценариев:

• HA-устройства StarWind image file на базе HDD в конфигурации RAID 10.
• Устройства StarWind LSFS на базе HDD в конфигурации RAID 5, 6, 50, 60.
• HA-устройства StarWind image file на all-flash хранилищах в некоторых сценариях. Более подробно об этих сценариях можно почитать в базе знаний StarWind.

В большинстве случаев, когда у вас есть L1 кэш, кэш уровня L2 вам не потребуется. Размер L2 кэша должен быть равен среднему объему уникальных данных, запрашиваемых с хранилища на регулярной основе (определяется экспериментально).

На конференции VMware Explore 2022 компания VMware объявила о выпуске решения для организации отказоустойчивых кластеров виртуальных хранилищ VMware vSAN 8. Напомним, что прошлая мажорная версия VMware vSAN 7 была выпущена в марте 2020 года. Вчера мы писали о новых возможностях VMware vSphere 8, а сегодня поговорим о решении vSAN 8, которое очень тесно интегрировано с vSphere.

Итак, что нового появилось в VMware vSAN 8.0:

Новая архитектура vSAN Express Storage Architecture

В vSAN 8 появилась новая архитектура гиперконвергентной инфраструктуры vSAN Express Storage Architecture (ESA). Она позволяет достичь максимальных показателей производительности и эффективности на базе высокопроизводительных систем хранения.

С помощью флэш-памяти TLC на основе технологии NVMe, архитектура ESA имеет множество преимуществ со стандартной vSAN Original Storage Architecture (OSA), которая также продолжит поддерживаться для стандартного на текущий момент оборудования (устройства SATA/SAS).

Ключевыми структурными особенностями vSAN 8 ESA является переработанная и запатенованная файловая система (log-structured file system, LFS), новый оптимизированный для записи менеджер объектов (log-structured object manager), а также новый формат дисковых объектов.

Эти технологии позволяют добиться такого уровня производительности, где практически не происходит потерь на поддержание слоя виртуализации.

Новые возможности ESA дают преимущества в следующих аспектах:

1. Performance without tradeoff

Здесь есть два основных момента, существенно увеличивающих производительность:

• Изменение структуры хранения и обработки данных для алгоритмов RAID 5/6 erasure coding. Теперь производительность RAID 5/6 близка к таковой на базе RAID-1. За счет LFS и нового формата дисковых объектов обеспечивается высокая интеграция данных и устойчивость к отказам при сохранении высокой скорости канала чтения-записи.
• Intelligent I/O traffic management для сетевого трафика vSAN - теперь скорость процессинга трафика ввода-вывода близка к нативной для используемых устройств. Это достигается, в том числе, за счет адаптивной приоритизации трафика и его отсылки в моменты наименьшей загрузки канала.

2. Supreme resource and space efficiency

Адаптивный алгоритм обработки данных на RAID-5, который проверяет количество хостов в кластере и выбирает оптимальный способ размещения данных (работает, начиная с трех хостов). vSAN ESA также имеет возможности обнаружения изменений хостов, что влечет за собой ревизию структур данных RAID-5 и изменения политик размещения данных. В этом случае RAID-5 использует меньше сырой емкости хранилищ при сохранении надежности и управляемости.

Кликните на картинку, чтобы открыть анимацию:

Также были полностью переработаны механизмы сжатия данных, чтобы оптимизировать загрузку сети и нагрузку на CPU. Компрессия включена по умолчанию, и ее настройки можно изменять на уровне отдельных виртуальных машин с помощью политик хранилищ, вместо изменения конфигурации на уровне кластера.

Нажмите на картинку для открытия анимации:

Новый метод сжатия дает до 4x улучшение для каждого блока размером 4KB, если сравнивать с Original Storage Architecture. Также нагрузка на CPU существенно меньше у ESA, чем у OSA.

Шифрование данных также происходит теперь на верхних слоях ядра vSAN. Поскольку шифрование проводится для уже сжатых данных, то процесс шифрования происходит только однажды, что означает, что потоки данных между хостами также зашифрованы. Это позволяет избавиться от лишних шагов decrypt/encrypt и дает меньше нагрузки на CPU и сеть, освобождая ресурсы на поддержание работы виртуальных машин.

3. Intuitive, agile operations

Здесь два основных момента:

• Storage pool construct - vSAN 8 ESA, помимо концепции дисковых групп, дискретного кэширования и ярусов емкостей (capacity tiers), дает пользователям возможность объединить устройства в пул (storage pool), в котором все устройства пула хоста могут давать емкость в общую емкость инфраструктуры vSAN. Это упрощает операции по обслуживанию дисков и управлению доступностью данных (а также снижает затраты).
• Упрощенное развертывание и оперирование ресурсами хранилищ - теперь появились автоматические проверки, которые позволяют понять, что архитектура ESA запущена на поддерживаемом оборудовании. Это уменьшит количество проблемных инсталляций.

4. Ready-for-anything resilience

Этот пункт включает в себя масштабируемые и высокопроизводительные снапшоты, которые теперь делаются быстро и эффективно. Теперь снапшоты не так драматически влияют на производительность виртуальных машин, а время консолидации снапшотов уменьшилось очень значительно. Возможность native snapshot будет доступна не только в vSphere, но и для сторонних решений, использующий фреймворк VADP для резервного копирования ВМ.

Стандартная архитектура vSAN Original Storage Architecture

Классический vSAN 8 увеличил логический лимит емкости буффера почти в три раза - с 600 ГБ до 1.6 ТБ. Это позволит получит преимущества более плотного размещения виртуальных машин при сохранении требуемого уровня производительности. Рабочие нагрузки теперь могут поддерживать режим максимальной производительности в течение больших периодов времени.

Обе архитектуры vSAN - ESA и OSA

vSAN Proactive insights capability - пользователи vSAN 8 теперь получили более высокий уровень совместимости за счет функционала proactive insights, который оповещает обо всех потенциальных проблемах совместимости программного обеспечения и оборудования, даже если оно не участвует в программе Customer Experience Improvement Program. Эти улучшения доступны для обеих архитектур.

Итого прогресс технологии VMware vSAN за 10 лет можно представить вот так:

Доступность для скачивания продуктов VMware Cloud Foundation+, VMware vSphere 8, VMware vSAN 8 и VMware Edge Compute Stack 2 ожидается до 28 октября 2022 года.

Также рекомендуем посмотреть техническое видео о нововведениях vSAN:

Недавно компания VMware объявила о масштабном обновлении своей облачной платформы VMware Cloud on AWS (VMConAWS), построенной на базе инфраструктуры Amazon AWS. В июле платформа обновлялась два раза, было сделано очень много как больших нововведений, так и несколько маленьких улучшений.

Давайте посмотрим на основные новые возможности VMware Cloud on AWS July 2022:

1. Изменения в ценовой политике и опциях подписки

• Были продлены промо-акции: 15% скидка на инстансы i3.metal (до 31 августа) и пониженная стартовая цена для новых клиентов для хостов i3.metal и i3en.metal (до 3 января 2023).
• Гибкая подписка VMware Cloud on AWS Flexible subscription не только для хостов i3.metal, но и i3en.metal (подробнее). Пользователи со старым типом подписки могут отменить ее и переключиться на новую.

2. Улучшения поддержки производственных нагрузок

• Теперь облачные сервисы доступны в регионе AWS Asia Pacific (Hong Kong).
• Улучшения интерфейса и масштабируемости сервисов Tanzu - если у вас есть 3 и более хостов в одной Availability Zone (AZ), то вам становится доступной опция "Activate Tanzu Kubernetes Grid".
• Поддержка Kubernetes 1.22 для supervisor-кластеров (также осталась поддержка версий 1.21 и 1.20).
• Поддержка Windows 11 VMConAWS с провайдерами vTPM за счет использования механизма vSphere Native Key Provider (NKP). vTPM полностью совместим со стандартом TPM 2.0.
• Комплаенс по стандарту Singapore Multi-Tier Cloud Security Standard (MTCS).

3. Улучшения в вычислительной платформе и пользовательском опыте

• Улучшения в механизме VMware Cloud Disaster Recovery - защита до 6000 виртуальных машин на один vCenter, экспорт логов событий в vRealize Log insight Cloud, алерты и нотификации по статусам показателей качества обслуживания (SLA), глобальный экспорт маппингов ВМ и их Protection Groups в один файл, трекинг переданных данных и интенсивности их изменения для снапшотов, поддержка всех операций из одной консоли Global DR Console, G-Cloud комплаенс для UK-региона.
• Улучшения механизма VMware Site Recovery - теперь сервисы доступны в регионе AWS Asia Pacific (HongKong), а также заявлена поддержка совместимости VMware Site Recovery Manager on Azure VMware Solution и VMware Site Recovery on VMware Cloud on AWS, между которыми теперь можно совершать DR-операции.
• Теперь доступен бэкап и восстановление машин VM Service любыми вендорами поддерживающими механизм vSphere Storage APIs for Data Protection (VADP), в частности, продуктом Veeam Backup and Replication.
• Улучшения сети - апдейт драйвера Low-latency ENA для хостов i3en.metal, функции Live Traffic Analysis (LTA), доступ к NSX Manager Standalone UI, улучшения VPN, улучшения VMware NSX Advanced Firewall for VMware Cloud on AWS Add On.
• Улучшения графического интерфейса настройки DHCP.
• VMware теперь публикует план обновлений VMware Cloud on AWS SDDC на вкладке "Maintenance" консли VMware Cloud console.
• VMware Cloud Federation: поддержка SSO между VMware Cloud console и облачным инстансом vCenter.

4. Улучшения механик управления облачными сервисами

• Улучшения покупки облачных продуктов для сервис-провайдеров и конечных клиентов.
• Простой запуск пробной версии vRealize Automation Cloud для VMware Cloud on AWS.
• Шаблоны наименований (custom naming) сущностей VMware Cloud on AWS в vRealize Automation Cloud.
• Multi-level approvals в VMware Cloud on AWS для пользователей из разных иерархий и департаментов.
• Возможность активации vRealize Automation Cloud Add-On из VMware Cloud Console.
• Улучшения vRealize Network Insight (SaaS) для пользователей VMware Cloud on AWS - функции автоматического развертывания компонентов proxy и collector, а также интеграция с решением VMware HCX.
• Новые опции приобретения VMware vRealize Log Insight Cloud с долговременным хранением логов в non-index storage до 7 лет (подробнее тут).

Более подробно обо всех нововведениях июльской версии платформы VMware Cloud on AWS вы можете прочитать в Release Notes.

Компания VMware недавно обновила свою главную платформу для виртуализации и доставки настольных ПК и приложений VMware Horizon 8 2206. Напомним, что о прошлой версии Horizon 8 2203 (последние цифры это год и месяц релиза) мы писали вот тут и тут.

В этом релизе VMware обновила следующие компоненты Horizon:

• VMware Horizon
• VMware Horizon Clients
• VMware App Volumes
• VMware Dynamic Environment Manager

Давайте вкратце посмотрим на новые возможности каждого из них:

1. Серверы VMware Horizon и технология Instant Clone

Тут появились следующие фичи:

• Средства цифровой форензики Instant Clone Forensics для расследования инцидентов (виртуальные диски десктопов помещаются на forensic quarantine в целях дальнейшего изучения)
• Поддержка Hybrid Azure AD для необновляемых машин и полных клонов
• Пулы Instant Clone теперь поддерживают несколько профилей ВМ для одного золотого образа (CPU, RAM, Cores per Socket), что дает больше гибкости администраторам
• Официально заявлена совместимость с облачной инфраструктурой VMC on AWS и AVS
• Ключ доступа SSO используется только по мере необходимости
• Появились дополнительные REST API, чтобы обеспечить соответствие всех функций фреймворков View API и REST API
• Были сделаны улучшения при передаче операционных данных в систему Supercollider
• Записанные сессии теперь могут быть зашифрованы и храниться в *.bin файле
• Технология Storage Drive Redirection (SDR) теперь доступна в качестве альтернативы USB и CDR redirection

Также о новых возможностях VMware Horizon Server вы можете почитать тут.

2. Клиенты Horizon Clients

Было сделано также несколько улучшений в клиентах, в основном для Windows:

• Для Windows Hello for Business появилась поддержка логина с сертификатами (Log In as Current User)
• Обновился WebRTC SDK, который теперь поддерживает множество систем-партнеров
• Поддержка Windows 10/11 Pro и Education в дополнение к имеющейся поддержке Windows 10 Enterprise
• Теперь кодек Blast Codec используется по умолчанию, а если на сервере есть поддержка vGPU, то автоматически включается повышенное качество картинки
• Обновился HTML Access, который теперь поддерживает горячие патчи

Более подробнее о функциях клиентов Horizon Clients мы расскажем позже, а пока вы можете прочитать о них в Release Notes:

• Horizon Client for Mac
• Horizon Client for Android
• Horizon Client for Windows
• Horizon Client for iOS
• Horizon Client for Linux
• Horizon Client for Chrome
• Horizon HTML Access

3. Механизм VMware App Volumes

Появилось несколько важных нововведений:

• Для функций Apps On Demand появилась поддержка File Type Associations
• Появилась поддержка vSAN Stretched Cluster
• Новые функции Package Symmetry Assurance
• Появилась возможность миграции Writable Volumes

4. Средства управления окружениями VMware Dynamic Environment Manager

Тут была добавлена поддержка следующих вещей:

• Нескольких конфигурационных файлов NoAD на базе членства в группах
• Приложений, созданных пользователями, для интеграции с ODB
• Локаций, определенных пользователями, для файла лицензий DEM
• Копирования архивов профилей с SMB-шары в базу ODB
• Сервиса Amazon Workspaces

Скачать компоненты инфраструктуры VMware Horizon 8 2206 можно по следующим ссылкам:

• Horizon Server
• Horizon Clients
• App Volumes
• Dynamic Environment Manager

Продолжаем рассказывать о главном продукте для создания отказоустойчивых хранилищ StarWind Virtual SAN, который позволяет обеспечивать бесперебойное функционирование кластеров виртуальных машин на базе серверов виртуализации VMware ESXi или Microsoft Hyper-V. Сегодня мы рассмотрим механизм назначения прав доступа инициаторов в консоли StarWind Management Console, с помощью которой администраторы управляют всеми аспектами виртуальных хранилищ.

Как известно, компания VMware предлагает пользователям онпремизных инфраструктур несколько иной набор инструментов, чем таковые доступны в облачной инфраструктуре на базе VMware Cloud. Да, в случае организации гибридной инфраструктуры (то есть комбинации собственной площадки и облачной) спектр этих инструментов существенно расширяется, как, например, для решения VMware Cloud Availability, но пользователи все еще не могут использовать все доступные решения. Между тем, многие клиенты VMware хотели бы организовать полноценную облачную инфраструктуру, сохраняя все рабочие нагрузки в собственном датацентре - таковы, зачастую, требования комплаенса.

Именно для таких клиентов VMware недавно запустила программу vSphere+, которая сочетает в себе возможности платформы виртуализации на базе издания VMware vSphere Enterprise Plus, а также облачные средства, такие как VMware Cloud Console для создания единой точки контроля и управления внутренним облаком.

Надо отметить, что сюда входят средства для поддержания инфраструктуры на базе контейнеризованных приложений Kubernetes, чтобы в компании могли организовать полноценное SaaS-облако (это обеспечивается продуктами Tanzu Standard Runtime и Tanzu Mission Control Essentials).

В рамках vSphere+ у клиента остаются хосты ESXi и серверы управления vCenter, но они подключаются к облачному сервису Cloud Console через VMware Cloud Gateway. Администраторы могут выполнять глобальные операции по управлению и оркестрации среды виртуальных машин и контейнеров, опционально имея в своем распоряжении инструменты для создания гибридной среды.

Используя vSphere+ совместно с vSAN+, пользователи могут создавать масштабируемые сервисы, надежно защищенные от сбоев вычислительных ресурсов и хранилищ, а гибкие планы подписки позволяют платить на базе потребляемых ресурсов и функциональности облака.

С помощью Cloud Console пользователи могут централизовать большой объем задач, выполняемых компонентами разных продуктовых линеек VMware в рамках собственного датацентра, которые обычно управляются из разных инстансов vCenter.

Администратор в этой консоли может выполнять следующие задачи:

• Управление жизненным циклом сервисов vCenter, включая обновления для группы серверов (кнопка Update Now), обеспечивая окно обновления всего в несколько минут и возможность отката к прошлой версии.
• Глобальный инвентарь сервисов с возможностью визуализации ресурсов по всем кластерам, хостам и виртуальным машинам, с доступом к ресурсам CPU, памяти и хранилищ.
• Просмотр всех событий и алертов, происходящих в облачной среде - это ускоряет поиск причин проблем в разы.
• Проверка на безопасность и комплаенс всей инфраструктуры vSphere, с возможностью обнаружения проблем, таких как незакрытые SSH-сессии, устаревшие SSL-протоколы и прочее, а также предпринятие действий по их устранению.
• Развертывание виртуальных машин в рамках всей инфраструктуры, без необходимости переключаться между инстансами vCenter.
• Средства поддержки единой конфигурации серверов vCenter в соответствии с внутренними стандартами компании.

Помимо административных утилит, подписка vSphere+ дает множество возможностей для разработчиков, работающих с кластерами Kubernetes:

• Сервис Tanzu Kubernetes Grid, позволяющий исполнять контейнеризованные приложения в сертифицированной среде Kubernetes, тесно интегрированной с инфраструктурой vSphere, используя знакомый набор средств управления для разработчиков в онпремизном окружении.
• VM service - это возможности развертывания ВМ с помощью команд и API, что позволяет создавать комбинации из ВМ и контейнеров в единой среде.
• Network service - средства для создания виртуальных коммутаторов, балансировщиков нагрузки и правил сетевого экрана для ВМ и кластеров Kubernetes.
• Storage service - возможность управления персистентными дисками для контейнеров и ВМ. Также можно использовать существующие блочные и файловые хранилища для поддержки контейнеров.
• Tanzu integrated services - это набор утилит для развертывания и управления локальными кластерами Kubernetes с возможностями логирования, реестра приложений, мониторинга и другими тулами для быстрого создания производственных Kubernetes-окружений.
• Tanzu Mission Control Essentials - это решение дает разработчикам и командам DevOps возможность централизовать операции и управлять всем окружением Kubernetes на глобальном уровне, устраняя проблемы мониторинга и решения проблем. Этот сервис пока не готов и будет доступен в третьем квартале этого года.

Подписка vSphere+ доступна как для новых пользователей VMware, так и для существующих инфраструктур как апгрейд. Хосты vCenter и ESXi текущих версий можно соединить с облаком VMware Cloud, при этом никакие производственные нагрузки перенесены туда не будут.

С помощью сотрудников VMware вы можете перевести свои "вечные" лицензии на подписочную модель vSphere+ и платить в рамках годовых контрактов, не заботясь об управлении лицензионными ключами и продлении SnS. Все действующие подписки вы сможете отслеживать в единой консоли:

Также нужно упомянуть и возможности добавления аддонов в облачную инфраструктуру в рамках расширения подписки - первым таким решением станет VMware Cloud Disaster Recovery.

Больше подробностей о VMware vSphere+ вы можете узнать из вот этого видео:

Также более детальная техническая информация приведена вот в этой статье. Сам сервис vSphere+ доступен по этой ссылке.

Совсем недавно компания VMware выпустила обновленную версию своего решения для обеспечения высокой доступности датацентров на базе VMware Cloud Director - Cloud Director Availability 4.4. По-сути, Cloud Director Availability предназначен для создания резервной инфраструктуры в одном из публичных облаков сервис-провайдеров на основе VMware vCloud Director (так называемая услуга Disaster-Recovery-as-a-Service, DRaaS). Сегодня мы посмотрим на новые возможности этого продукта...

В середине июня компания VMware представила сообществу Open Source свою новую разработку - нереляционную базу данных типа key-value SplinterDB. Базы данных с механиками "ключ-значение" работают очень быстро и в данный момент применяются для решения широкого круга задач. VMware сделала тут вот какую вещь - эта СУБД работает еще быстрее остальных (иногда в разы), поэтому она позиционируется как "ultra fast"-решение для высокопроизводительных нагрузок.

Платформа SplinterDB была разработана VMware Research Group в плотном сотрудничестве с группой разработки решений линейки vSAN. Ключевой особенностью этой базы данных является возможность быстро работать как с запросами на вставку/обновление данных, так и с запросами на чтение пар ключ-значение из хранилища. Вот так это выглядит в сравнении с СУБД RocksDB (она была разработана в Facebook), которая работает в той же нише, что и SplinterDB, на примере бенчмарка Yahoo Cloud Services Benchmark (YCSB):

SplinterDB максимально использует возможности ядер процессоров, легко масштабируется и использует все преимущества технологии организации хранилищ NVMe. Поэтому SplinterDB можно использовать поверх существующих key-value хранилищ, а также традиционных реляционных баз данных, NoSQL-СУБД, микросервисов, обработчиков потоков, архитектуры edge/IoT, хранилищ метаданных и графовых баз данных.

SplinterDB - это внедренное key-value хранилище во внешней памяти, что означает, что приложения используют SplinterDB путем линковки библиотеки SplinterDB в свой исполняемый файл. SplinterDB хранит данные на высокопроизводительных дисках SSD NVMe и может масштабироваться до огромных датасетов, которые значительно превышают объемы доступной памяти RAM.

На картинке выше показан пример, где SplinterDB и RocksDB хранили датасет 80 GiB в системе, имеющей 4 GiB RAM. Так как лишь малая часть базы данных помещалась в кэш оперативной памяти, то эффективность работы подсистемы ввода-вывода была ключевым фактором оценки производительности. Для теста использовались диски Intel Optane SSD, которые поддерживают 2 GiB/sec на чтение и запись. При этом RocksDB использовала только 30% доступного канала обмена с хранилищем (для операций записи), а SplinterDB использовала до 90% канала. При чтении SplinterDB также показала себя в полтора раза лучше, чем RocksDB, за счет более эффективного использования CPU и техник кэширования.

В чем же секрет такого высокого уровня производительности? Дело в том, что современные key-value хранилища (включая SplinterDB, RocksDB, LevelDB, Apache Cassandra и другие) хранят данные в больших сортируемых таблицах. Запросы ищут значения в каждой таблице, спускаясь от новых данных к старым. Таким образом, запросы замедляют систему, накапливая все больше и больше таблиц с данными. Чтобы избежать замедления работы, эти системы время от времени объединяют несколько отсортированных таблиц в одну (это называется compaction). Это и создает дисбаланс между скоростью на чтение и скоростью на запись. За счет этого запросы исполняются быстро, но вот вставка данных замедляется. Если compaction делать реже, то вставка будет работать быстрее, но и чтение замедлится.

SplinterDB делает compaction более чем в 8 раз реже, чем RocksDB, поэтому вставка данных и работает в первой примерно в 7 раз быстрее, чем во второй. Но что со скоростью на чтение? Чтобы поддерживать высокую скорость чтения, SplinterDB работает иначе, чем современные хранилища. Большинство из них используют фильтры Bloom (или их еще называют cuckoo), чтобы ускорять запросы.

Фильтр - это маленькая структура данных, которая представляет некое множество из таблицы. RocksDB и аналоги используют один фильтр для каждой таблицы, и запросы прежде всего проверяют фильтр перед тем, как искать во всей таблице, чтобы большинство запросов могли искать только в небольшой структуре. Задумка здесь в том, что фильтры будут хранится в памяти, поэтому I/O операции с хранилищами будут вызываться нечасто.

На быстрых хранилищах этот подход работает не так эффективно, особенно когда набор данных в БД значительно превышает размер доступной оперативной памяти. На быстрых хранилищах затраты на CPU при поиске в фильтрах могут быть высокими ввиду большого числа фильтров. При этом может произойти ситуация, когда фильтры не помещаются в память, поэтому они отбрасываются на диск, что делает их использование в этом случае бесполезным.

SplinterDB использует новый вид фильтра, называемый routing filter. Один такой фильтр может заменить несколько фильтров типа Bloom, cuckoo или ribbon и может покрыть сразу несколько таблиц. Обычные фильтры могут сказать только, есть ли соответствующий ключ в доступности в данный момент или нет, а вот routing filter может не только сказать, что ключ есть, но и указать на то, какая конкретно из отсортированных таблиц его содержит. Поэтому запросам нужно делать гораздо меньше работы по поиску в фильтрах, а значит снижается нагрузка на CPU.

Кроме того, поиск в одном фильтре может сильно сэкономить на запросах ко многим таблицам, даже если этот фильтр занимает много места в RAM. Этот механизм работы с данными и был придуман в VMware. Все это позволяет существенно экономить на вычислительных мощностях для очень тяжелых и интенсивных нагрузок.

Более подробно о данной технологии можно почитать на официальном сайте SplinterDB, репозиторий продукта на GitHub доступен тут.

Мы довольно часто пишем о максимальных параметрах виртуальной инфраструктуры VMware vSphere и ее компонентов, в частности VMware vCenter (например, тут и тут). Сегодня мы немного освежим эти данные на примере последней версии сервера управления vCenter и приведем несколько примеров. Для начала напомним, что актуальные данные по максимальным конфигурациям продуктов VMware можно найти по адресу: https://configmax.vmware.com, а также в официальной документации.

Кроме того, у VMware есть отличное видео, посвященное лимитам vCenter и правилам выполнения одновременных операций в виртуальной среде:

Итак, лимиты можно разделить на 2 категории:

• Глобальные лимиты для инфраструктуры (виртуальный датацентр).
• Лимиты на уровне хоста и его компонентов (например, сетевые адаптеры).

Если говорить о глобальных параметрах, то значения тут следующие:

• Вы можете запустить до 640 одновременных операций в vCenter, пока они не начнут становиться в очередь.
• Всего можно запустить до 2000 одновременных операций на один сервер vCenter.

На уровне хостов ESXi есть следующие механизмы работы и ограничения:

• Хосты ESXi 6 и 7 версий имеют 16 слотов для выполнения операций в единицу времени:

• Любая операция с виртуальными машинами потребляет какое-то количество слотов на источнике и целевом хосте.
• Операция Storage vMotion стоит 8 слотов на хост. Если вы меняете только датастор у виртуальной машины, оставляя тот же хост, то потребляются эти 8 слотов, то вы можете сделать 2 одновременных миграции. Ранее это работало несколько иначе - смотрите наш пост вот тут.
• Операция Linked clone потребляет 1 слот, но для этого у вас уже должен быть создан снапшот. Если у вас его нет, то он сначала создается - это может замедлить создание первого связанного клона. Также снапшот требуется и при клонировании включенной ВМ, где требуется уже 2 слота (то есть одновременно можно делать 8 таких операций для данной пары хостов).

• Операции Clone, Relocate и vMotion стоят 2 слота каждая на каждом хосте - то есть и на источнике, и на целевом (суммарно получается потребляется 4 слота на двух хостах). Это же работает и при клонировании ВМ на том же самом хосте - на нем в этот момент потребляется 4 слота (то есть одновременно на хосте можно делать 4 таких операции).

Для датасторов также есть слоты и ограничения на одновременные операции:

• У одного датастора есть 128 слотов.
• Операция vMotion стоит 1 слот, то есть на одном датасторе может проходить до 128 одновременных миграций vMotion.
• Операция Storage vMotion стоит 16 слотов, то есть на одном датасторе может проходить до 8 одновременных миграций vMotion.
Это же работает и для датасторов vSAN, где часто встречаются конфигурации с одним датастором - это надо иметь в виду.

Лимиты для сетевых адаптеров сейчас следующие (помните, что для vMotion лучше иметь отдельный адаптер или выделенную пару портов на нем):

• У 1Gb NIC есть 4 слота, то есть можно делать до 4 одновременных миграций vMotion через этот адаптер.
• У 10Gb и 25Gb NIC есть 8 слотов, то есть можно делать до 8 одновременных миграций vMotion через такие адаптеры.

Более подробно об организации адаптеров для vMotion вы можете прочитать в KB 2108824.

Многие из вас используют или интересуются решением StarWind Virtual SAN, которое является сейчас одним из основных продуктов на рынке для организации отказоустойчивых кластеров хранилищ (а еще и самым технологически продвинутым). Сегодня мы поговорим об узле Witness node в кластерах и о том, как он помогает защитить его от массовых сбоев в виртуальной среде.

В апреле компания VMware выпустила обновление своего основного фреймворка для управления виртуальной инфраструктурой и ее компонентами из командной строки PowerCLI 12.6. О прошлой версии PowerCLI 12.5 мы писали в январе вот тут, а сегодня расскажем, что появилось нового в весеннем обновлении.

Основные улучшения и нововведения:

1. Байндинги PowerShell для интерфейсов NSX Policy Manager API.

Теперь появился новый модуль VMware.Sdk.Nsx.Policy, который реализует байндинг PowerShell для программных интерфейсов NSX Policy Manager API.

2. Новые командлеты для управления виртуальным модулем vCenter Server Appliance.

Теперь для управления резервными копиями vCenter Server Appliance можно использовать следующие командлеты:

• New-ApplianceBackupJob - стартует задачу резервного копирования на уровне файлов vCenter Server на бэкап-сервер.
• Wait-ApplianceBackupJob - мониторит прогресс задачи резервного копирования и возвращает в ApplianceBackupJob.
• Get-ApplianceBackupJob - получает список завершенных или находящихся в исполнении задач резервного копирования.
• Stop-ApplianceBackupJob - останавливает задачи РК в соответствии с указанными параметрами.
• Get-ApplianceBackupPart - получает список частей (parts), которые могут быть включены в задачу РК, а также их размер в резервной копии. Обязательные части всегда включаются в бэкап.

3. Поддержка SRM 8.5.

Модуль VMware.VimAutomation.Srm был обновлен и теперь поддерживает решение VMware Site Recovery Manager 8.5.

4. Исправления ошибок.

VMware приводит таблицу с багофиксами:

Загрузить компоненты фреймворка VMware PowerCLI 12.6 можно по этой ссылке. Release notes доступны тут.

Одним из нововведений новой версии решения для обеспечения катастрофоустойчивости виртуальной инфраструктуры хранения VMware vSAN 7.0 Update 3 стал улучшенный механизм по обработке последовательных отказов. Называется он Enhanced Data Durability.

Он позволяет еще больше защитить кластер хранилищ от аварий и сбоев, которые могут происходить не в один момент, а друг за другом на протяжении некоторого времени.

Нужен он для того, чтобы в ситуации, когда отказывает одна из площадок vSAN, а потом и компонент Witness (например, в случае массового сбоя сети или аварии другой природы), хосты выжившего кластера могли продолжить работу.

Проиллюстрируем это на примере, который привел Дункан Эппинг. Предположим, у нас есть вот такая инфраструктура:

И вот у нас отказывает полностью один из датацентров. В консоли RVC мы увидим следующее:

  VM R1-R1:

  Disk backing:

  [vsanDatastore] 0b013262-0c30-a8c4-a043-005056968de9/R1-R1.vmx

  RAID_1

  RAID_1

  Component: 0b013262-c2da-84c5-1eee-005056968de9 , host: 10.202.25.221

  votes: 1, usage: 0.1 GB, proxy component: false)

  Component: 0b013262-3acf-88c5-a7ff-005056968de9 , host: 10.202.25.201

  votes: 1, usage: 0.1 GB, proxy component: false)

  RAID_1

  Component: 0b013262-a687-8bc5-7d63-005056968de9 , host: 10.202.25.238

  votes: 1, usage: 0.1 GB, proxy component: true)

  Component: 0b013262-3cef-8dc5-9cc1-005056968de9 , host: 10.202.25.236

  votes: 1, usage: 0.1 GB, proxy component: true)

  Witness: 0b013262-4aa2-90c5-9504-005056968de9 , host: 10.202.25.231

  votes: 3, usage: 0.0 GB, proxy component: false)

  Witness: 47123362-c8ae-5aa4-dd53-005056962c93 , host: 10.202.25.214

  votes: 1, usage: 0.0 GB, proxy component: false)

  Witness: 0b013262-5616-95c5-8b52-005056968de9 , host: 10.202.25.228

  votes: 1, usage: 0.0 GB, proxy component: false)

Здесь мы видим, что у нас 1 голос на каждый из дисковых компонентов основной площадки (итого 2), 3 голоса на Witness и 2 голоса на резервной площадке.

Теперь представим, что все хосты резервной площадки отказывают полностью. У нас остается 2+3=5 голосов из 7, то есть кворум есть, все в порядке (для обеспечения кворума нужно больше 50% голосов). Но вот если у нас после этого откажет компонент Witness, имеющий 3 голоса, то у нас останется только 2 голоса из 7, кворума не будет - и это может привести к проблемам в кластере.

Для этого в vSAN 7 Update 3 сделали механизм пересчета голосов. Посмотрим на то, как выглядит картина через 5 минут после отказа резервной площадки в консоли RVC:

  VM R1-R1:

  Disk backing:

  [vsanDatastore] 0b013262-0c30-a8c4-a043-005056968de9/R1-R1.vmx

  RAID_1

  RAID_1

  Component: 0b013262-c2da-84c5-1eee-005056968de9 , host: 10.202.25.221

  votes: 3, usage: 0.1 GB, proxy component: false)

  Component: 0b013262-3acf-88c5-a7ff-005056968de9 , host: 10.202.25.201

  votes: 3, usage: 0.1 GB, proxy component: false)

  RAID_1

  Component: 0b013262-a687-8bc5-7d63-005056968de9 , host: 10.202.25.238

  votes: 1, usage: 0.1 GB, proxy component: false)

  Component: 0b013262-3cef-8dc5-9cc1-005056968de9 , host: 10.202.25.236

  votes: 1, usage: 0.1 GB, proxy component: false)

  Witness: 0b013262-4aa2-90c5-9504-005056968de9 , host: 10.202.25.231

  votes: 1, usage: 0.0 GB, proxy component: false)

  Witness: 47123362-c8ae-5aa4-dd53-005056962c93 , host: 10.202.25.214

  votes: 3, usage: 0.0 GB, proxy component: false)
 

Итак, мы видим, что каждый из дисковых компонентов получил по 3 голоса. Компонент Witness вне площадок получил 1 голос вместо 3, а компонент Witness, поднявшийся на основной площадке также получил 3 голоса.

Теперь, если внешний компонент Witness упадет, то кворум кластера все равно будет соблюден, а машины продолжат исполняться на основной площадке. Если же резервная площадка снова войдет в строй, то голоса в кластере снова будут пересчитаны таким образом, чтобы соблюсти статус кво.

Как долго происходит пересчет голосов в кластере? Это зависит от количества дисковых объектов, голоса которых учитываются. В среднем на одну ВМ приходится по несколько секунд вычислений, поэтому общая реконфигурация состава голосов может занять до 5 минут. Зато в этом случае кластер будет более устойчив к отказам, которые в реальной жизни могут происходить один за другим.

Многие из вас знают компанию StarWind Software, лидера в сфере поставки программных и программно-аппаратных решений для создания отказоустойчивых хранилищ. Помимо решений непосредственно для организации хранилищ, у компании есть и виртуальный модуль StarWind Backup Appliance, который предназначен для резервного копирования виртуальных машин на хранилищах StarWind. Это программно-аппаратный комплекс на базе оборудования NVMe, который позволяет избавиться от проблемы производительности хранилищ резервных копий и забыть о задаче планирования окна резервного копирования.

Модуль StarWind Backup Appliance поставляется в виде настроенного и готового к работе сервера резервного копирования, построенного на базе StarWind HyperConverged Appliance (HCA). Работа с продуктом происходит через удобный веб-интерфейс StraWind Web UI, есть также плагин StarWind для vCenter.

В апреле компания StarWind объявила, что StarWind Backup Appliance теперь включает в себя оборудование GRAID SupremeRAID - первую в мире карточку NVMe-oF RAID, которая обеспечивает высочайший уровень защиты данных в рамках технологии NVMe RAID на рынке.

Традиционные RAID-контроллеры не были разработаны изначально для технологии NVMe, а программные RAID работают недостаточно эффективно, потребляя при этом большое число циклов CPU, что мешает рабочим нагрузкам сервера. Поэтому с теперь помощью карточек GRAID комплексы StarWind Backup Appliance обеспечат максимальную производительность и защиту данных на базе дисков NVMe SSD.

Вот так выглядят результаты тестов технологии GRAID по сравнению с текущими реализациями аппаратных RAID для NVMe:

Более подробно об этом нововведении можно узнать из пресс-релиза StarWind. Скачать пробную версию StarWind Backup Appliance можно по этой ссылке.

В конце апреля компании VMware и Oracle выпустили обновление публичной облачной платформы Oracle Cloud VMware Solution (OCVS). Новый весенний релиз включает в себя много интересных возможностей, главной из которых стала более тесная интеграция нативных служб Oracle Cloud Infrastructure (OCI) и средств управления виртуальной облачной инфраструктурой от VMware.

Давайте посмотрим, что нового появилось в OCVS Spring 2022:

1. Новый тип хоста OCVS ESXi на базе AMD EPYC E4 Dense

Он предназначен для тяжелых нагрузок, требовательных к памяти и интенсивности использования хранилищ. Теперь есть 3 варианта хостов E4 Dense ESXi с числом ядер 32, 64 или 128, с тактовой частотой 2.55 ГГц в базовом варианте и до 3.5 ГГц в режиме максимального ускорения.

Все конфигурации идут с 2 ТБ RAM на борту, сетью 100 Gbps и 54.4 ТБ хранилища на базе NVMe.

2. Защищенные инстансы VMware

Теперь есть так называемые "Shielded VMware Instances", которые надежно защищены от атак типа Ransomware. Эти инстансы используют комбинацию технологий Secure Boot и Trusted Platform Module (TPM) для того, чтобы убедиться, что ОС и установленные в ней приложения загружаются из валидированной конфигурации.

Эта технология интегрирована со службой OCVS Provisioning Service и может быть включена для всех серверов кластера. Система не загружает драйверы UEFI или приложения, пока загрузчик ОС не подписан криптографической подписью, а устанавливать можно только подписанные пакеты vSphere Installation Bundles (VIB). Аппаратные чипы TPM 2.0 проверяют целостность платформы, сам процесс валидации вы можете отслеживать через vSphere Client.

3. Интеграция хостов OCVS ESXi со службами OCI File Storage Services

На базе всего трех узлов OCVS можно построить высокопроизводительный кластер хранилищ объемом 120 ТБ средствами служб VMware vSAN. VMware и Oracle валидировали их работу на базе файловой системы Network File System version 3.0 (NFSv3).

Для облачных инстансов доступны службы мониторинга и нотификаций OCI с использованием электронной почты, сервисов PagerDuty и Slack. Служба OCI Infrastructure Health Monitoring теперь полностью настроена и работает для bare-metal хостов. С помощью службы OCI Observability Service администраторы могут настроить алармы и нотификации на базе инфраструктурных метрик. Эти возможности могут работать совместно с традиционно используемыми средствами мониторинга и оповещений.

4. Валидация решений VMware Site Recovery Manager и VMware vRealize Cloud Management с OCVS

Теперь решение VMware SRM полностью валидировано в облаке OCVS, об этом подробнее можно почитать в Oracle Site Recovery Manager on OCVS Playbook. Лицензия на Site Recovery Manager for OCVS включена в издание "Site Recover Manager for Hyperscalers".

Также vRealize Cloud Management полностью валидировано с OCVS в 37 регионах OCI Cloud Regions. Теперь следующие продукты вы можете использовать в облаке OCVS:

• vRealize Operations Cloud
• vRealize Automation Cloud
• vRealize Log Insight Cloud
• vRealize Network Insight Cloud

5. Валидация VMware Horizon в облаке OCVS

Ранее от пользователей был большой интерес к размещению инфраструктуры виртуальных ПК (VDI) в облаке OCVS, теперь это решение полностью валидировано, о чем написано в KB 88202.

6. Валидация VMware Tanzu Standard edition в облаке OCVS

Решение VMware Tanzu Standard на базе кластеров Kubernetes теперь можно полноценно использовать в публичном облаке OCVS.

Более подробно о платформе Oracle Cloud VMware Solution можно узнать по этой ссылке.

На днях компания VMware анонсировала новое решение Cloud Flex Storage, которое представляет собой распределенное хранилище и средства управления данными, полностью управляемые со стороны VMware. Это комбинация cloud-native абстракций, реализующих службы хранения для клиентов, которая предоставляет высокопроизводительные сервисы для современных нагрузок.

С помощью VMware Cloud Services Console пользователи могут масштабировать облачные хранилища без необходимости добавления дополнительных хостов и регулировать доступные емкости как вверх, так и вниз, для каждого из работающих приложений. Также здесь работает модель оплаты по мере потребления ресурсов (pay-as-you-go).

Решение VMware Cloud Flex Storage построено на базе файловой системы enterprise-класса, которая разрабатывается уже много лет на базе продукта Datrium D­HCI, купленного VMware в июле 2020 года. Эта же файловая система используется для сервиса VMware Cloud Disaster Recovery. Она имеет двухъярусный дизайн, который позволяет просто масштабировать емкость и производительность хранилищ, используя архитектуру Log-Structured Filesystem (LFS).

Там доступны такие возможности, как эффективные снапшоты, неизменяемость бэкапов (immutability), защита от ransomware и многое другое, что позволяет использовать их для разных типов организаций и рабочих нагрузок.

Вот основные варианты использования VMware Cloud Flex Storage:

• Бесшовная миграция данных в облако при сохранении разумных затрат. Для пользователей, которые используют VMware Cloud on AWS, сервисы Cloud Flex Storage реализуют высокопроизводительные хранилища, способные выдерживать большие всплески нагрузки. Виртуальные машины можно перемещать между ярусами, а также без ручных операций обеспечивать требуемый уровень производительности в автоматическом режиме.
• Эластичное расширение хранилищ датацентров. Пользователи VMware Cloud on AWS могут дополнительно подключать ресурсы Cloud Flex Storage для получения дополнительных емкостей. Это позволяет на лету масштабировать хранилища вверх и вниз, перемещать нагрузки в те датацентры, которые наиболее эффективно работают с актуальными данными в публичном облаке. Также все это дает возможности по управлению гибридной инфраструктурой организаций из единой консоли VMware vCenter.
• Масштабирование нагрузок для высокоинтенсивных в плане хранилищ приложений. Если VMware Cloud on AWS используют локальные инстансы на базе VMware vSAN, но их мощностей не хватает, Cloud Flex Storage может быстро дать распределенные облачные хранилища на базе потребностей каждого конкретного приложения. Также эта архитектура хорошо подходит для масштабирования больших томов данных.

Сейчас решение Cloud Flex Storage полностью сфокусировано на пользователях публичного облака VMware Cloud on AWS и имеет глубокую интеграцию со службами vSAN.

Пока VMware только приглашает пользователей в программу раннего доступа к Cloud Flex Storage, который можно получить, обратившись по этому адресу.

Многие администраторы VMware vSphere знают, что есть такой портал VMware Marketplace, где доступно более 2300 партнерских решений и продуктов для дополнения виртуальной инфраструктуры, онпремизной и облачной.

Портал VMware Marketplace позволяет сотрудникам DevOps, IT-администраторам, администраторам ИБ и прочим ИТ-специалистам получить доступ к огромному количеству решений, разбитых на категории, такие как Identity, Networking и Security, которые можно попробовать перед покупкой. Они поставляются в различных форм-факторах - виртуальные модули OVA, готовые к развертыванию контейнеры, а также менеджмент паки.

Решения от независимых поставщиков проходят программу валидации и сертификации VMware Ready и Partner Ready, для которых отображаются соответствующие бейджи на их страницах в маркетплейсе. ISV-партнеры, разрабатывающие продукты для маркетплейса, должны быть в составе экосистемы разработчиков Technology Alliance Program (TAP) компании VMware.

Только в феврале этого года на маркетплейс было добавлено 39 новых решений в различных категориях (кликайте на заголовок категории, чтобы увидеть все решения, доступные в ней):

• Domino Data Science Seat

• 3DEXPERIENCE platform
• Helix International

• Kodak Prinergy Workflow

• YugabyteDB Anywhere – Distributed SQL Database

• GitLab Ultimate

• 10ZiG 4648q Zero Client
• 10ZiG 7748qv – Linux (x64)
• 10ZiG 6010q – Windows IoT Thin Client
• 10ZiG 6110 – Windows 10 IoT Thin Client
• ImageScan Pro 820ix
• LG 24CN650 Thin Client
• LG CL600 Thin Client
• Micron 7400 NVMe SSD for VMware vSAN

• Beyond Identity Secure Work

• Virtual PLC for Industrial Automation

• ETERNUS vRealize Orchestrator Plug-in
• ITmanager.net – The RMM Mobile App
• Interlink Software AIOps Platform
• Login Enterprise
• Sightline EDM for IT Systems
• Stratodesk NoTouch Center VA – VDI Endpoint Management
• Veryx vTAP
• vRealize Operations Management Pack for Storage Devices 8.4.1
• vRealize Operations Management Pack for Horizon 1.2.2
• vRealize Operations Tenant App for VMware Cloud Director 8.6.1
• vRealize Operations Management Pack for VMware Cloud Director 8.6.1
• vRealize Operations Management Pack for SNMP 3.2.1
• VMware vRealize Orchestrator Plug-in for vRealize Automation 8.4.2+
• vRealize Orchestrator plug-in for Site Recovery Manager
• vRealize Orchestrator plug-in for vSphere Replication

• Arrcus ACE Platform

• vArmour Relationship Cloud
• VMWare Carbon Black Cloud Connector For Malwation AIMA Platform

• Lightbits Cloud Data Platform
• ObjectScale Software-Defined Object Storage
• SK Hynix PE8000 Enterprise NVMe SSDs
• SSSTC Solid State Drive
• virvcache

В общем, VMware Marketplace - это отличное место для поиска нужных вам дополнений для виртуальной инфраструктуры, особенно если вы используете продукты специфических вендоров или нуждаетесь в дополнительных средствах управления и мониторинга различного оборудования или ПО.

Многим из вас знакома компания StarWind Software, выпускающая одни из лучших в отрасли продукты для организации отказоустройчивых хранилищ под платформы виртуализации. Компания производит как программные продукты (StarWind Virtual SAN для vSphere и Hyper-V), так и программно-аппаратные комплексы, представленные линейкой StarWind HyperConverged Appliance (HCA) и StarWind Storage Appliance. Сегодня мы поговорим именно о программно-аппаратных решениях StarWind Appliances...

Компания VMware объявила о выпуске обновления решения Object Storage Extension 2.1.1, которое уже доступно для скачивания на портале VMware Customer Connect. Напомним, что это фремворк для поддержки хранилищ S3 в инфраструктуре сервис-провайдеров, которые работают на базе VMware Cloud Director. Напомним, что о версии OSE 2.1 мы писали осенью прошлого года вот тут.

Давайте посмотрим, что нового в Object Storage Extension 2.1.1:

1. Поддержка новых ОС

OSE 2.1.1 теперь поддерживает большой спектр дистрибутивов Linux, среди которых такие системы, как Photon OS 3+, Ubuntu 18+ и Debian 10+.

2. Функции Object Lock и тэгирование объектов для пользователей Dell ECS 3.6

Клиенты в облаке под управлением VMware Cloud Director могут быть отображены в сущности ECS Identity и Account Access Management (IAM) вместо того, чтобы оставаться пользователями объектов ECS. Это позволяет независимо управлять функциональностью object lock и тэгированием. Напомним, что object lock - это функция предотвращения перезаписи или удаления объектов на фиксированное время, которая может быть активирована при создании бакета. А тэгирование позволяет категоризировать бакеты путем назначения тэгов отдельным объектам с использованием пары ключ-значение.

Маппинг пользователей можно получить после простого апгрейда на cloud provider portal, но это остается опциональным.

3. Дополнительная поддержка

В прошлом релизе VMware выпустила службы Object Storage Interoperability Services (OSIS), позволюящие интегрировать любые сторонние S3-compliant объектные хранилища с VMware Cloud Director, которые управляются через REST API. Теперь функции служб совместимости были существенно доработаны, и облачные провайдеры могут использовать OSIS stub, OSIS verifier и Common Test Suites для определения совместимости и готовности компонентов для имплементации OSIS.

4. Исправления ошибок

Было сделано множество небольших улучшений и исправлений ошибок, полный список которых приведен в release notes.

Для обновления инфраструктуры на Object Storage Extension 2.1.1 облачные провайдеры могут использовать страницу upgrade guide.

Продолжаем рассказывать технические подробности о работе продукта StarWind Virtual SAN, позволяющего создавать программные и программно-аппаратные отказоустойчивые кластеры iSCSI для виртуальных сред. Сегодня мы поговорим о расширенных настройках протокола iSCSI на стороне StarWind и на стороне VMware ESXi, чтобы обеспечить непрерывное функционирование приложений в виртуальных машинах при обрыве соединений.

Стек работы с хранилищами VMware ESXi настроен таким образом, чтобы адекватно реагировать на кратковременную потерю сигнала в канале iSCSI, которая может возникнуть по разным причинам (кто-то перекоммутировал соединение, дрогнул порт и т.п.). По умолчанию расширенные настройки iSCSI выставлены так, чтобы переживать кратковременные сбои в рамках одного пути в интервале 25-35 секунд. В это время I/O-запросы будут копиться в очереди, а потом, либо произойдет продолжение передачи при восстановлении текущего соединения, либо хост переключится на резервный путь (failover) текущего или резервного адаптера.

В то время, как такое поведение не является критичным для большинства приложений, иногда есть специфические требования, которые надо выполнять для отдельных систем. Например, если речь идет о системе видеонаблюдения, то там задержка в полминуты является неприемлемой, и ее надо обрабатывать быстрее.

Для этого, если вы используете хранилища StarWind Virtual SAN, есть специальные настройки реагирования на подобные ситуации.

Итак, для начала вам нужно остановить службы StarWind Virtual SAN:

• В консоли StarWind Management Console проверить, что все устройства StarWind HA находятся в статусе "Synchronized" на всех серверах
• Проверить, что все датасторы имеют активные задублированные пути для всех серверов StarWind, а политика доступа по нескольким путям (MPIO) установлена в Round Robin
• На StarWind VSAN для Windows нужно выполнить команду для остановки служб StarWind: net stop starwindservice
• На виртуальном модуле StarWind VSA нужно выполнить такую команду: systemctl stop StarWindVSA

Далее открываем конфигурационный файл:

• На StarWind VSAN для Windows: C:\Program Files\StarWind Software\StarWind\StarWind.cfg
• На виртуальном модуле StarWind VSA: nano /opt/StarWind/StarWindVSA/drive_c/StarWind/StarWind.cfg

Далее там находим параметр iScsiPingCmdSendCmdTimeoutInSec и выставляем его значение, например в "1" (одна секунда).

Ну и, наконец, надо запустить службы StarWind VSAN:

• На StarWind VSAN для Windows: net start starwindservice
• На виртуальном модуле StarWind VSA: systemctl start StarWindVSA

Теперь нужно добраться до расширенных настроек iSCSI инициатора VMware ESXi. Открываем Advanced Options для адаптера в разделе Storage Adapters нужного нам инициатора:

И смотрим, какие настройки там выставлены:

Нас интересует:

• RecoveryTimeout - это как раз время, через которое активный путь помечается как "мертвый" (переводится в DEAD_STATE), когда по нему больше не приходит команд ввода-вывода.
• NoopInterval - это интервал, с которым происходит пассивное тестирование неактивных путей на предмет того, живы ли они.
• NoopTimeout - это время, через которое происходит пометка неактивного пути как DEAD, если по нему не получено ответа.

Эти настройки по умолчанию установлены в оптимальные с точки зрения вероятности отказа/потерь значения. Меняйте их только, если у вас есть особые требования приложений по непрерывной доступности хранилищ, и вы знаете, какое поведение системы хотите получить. Уменьшение таймаутов, очевидно, ведет к загрузке сети пингами каналов iSCSI и дополнительной нагрузке на устройства.

Компания VMware в конце января обновила свою облачную версию решения для аналитики лог-файлов и мониторинга инфраструктуры в облаке VMware vRealize Log Insight Cloud (January 2022 Update).

Напомним, что это средство предназначено для администраторов, сотрудников технической поддержки и системных инженеров, которые ищут причины проблем различного характера в виртуальной инфраструктуре и решают их на базе аналитики лог-файлов.

Давайте посмотрим на новые возможности январского обновления Log Insight Cloud:

1. Разделы Index и Non-Index Log Partitions

Теперь в продукте появилась поддержка безындексных разделов (non-index Log Partitions), что позволяет увеличить масштабируемость решения для публичных многооблачных сред, где происходит мониторинг огромного количества объектов (AWS, Microsoft Azure, Google Cloud Platform), а также облаков на базе VMware Cloud (VMware on AWS, Azure VMware Solutions, Google Cloud VMware Solutions, Oracle Cloud VMware Solutions). Также это доступно и для онпремизной инфраструктуры на базе VMware SDDC (software-defined-datacenter).

Хранение, индексирование и управление данными лог-файлов может стать очень затратным с точки зрения ресурсов, так как может вовлекать обработку миллионов записей в минуту. При этом разные данные должны обрабатываться в соответствии с различными регулирующими процедурами. Log Partitions предоставляют гибкий функционал про обработке логов при соблюдении специфических требований.

Если вам требуется долговременное хранение данных логов, доступ к которым происходит нечасто, то неиндексируемые разделы - это оптимальный выбор.

Также можно изменить приоритет обработки логов на разных разделах в соответствии с требованиями регулирующих процедур. Ну а если вы понимаете, что доступ к данным с неиндексируемого раздела происходит часто, то можно сменить тип раздела на индексируемый.

Вот так выглядит матрица функциональности индексируемых и неиндексируемых разделов:

2. Визуализация потребления хранилищ

Настройка логирования - это всегда компромисс между объемом собираемых и анализируемых данных и трат на их хранение. С помощью функций Ingestion and Storage Summary в реальном времени можно наблюдать за тем, как разделы заполняются логами и с какой скоростью, в соответствии с опциями, которые вы задали для них. На дэшборде видны наиболее потребляющие дисковое пространство разделы:

3. Функции Cloud Native Collector

Cloud Native Collector - это Docker-контейнер, который можно установить в любом облаке. Он предоставляет функции агрегации логов и управления конфигурациями логирования в части их форвардинга в систему vRealize Log Insight Cloud. Это позволяет собирать логи откуда угодно, без ограничений по хранимым емкостям.

Более подробно о новом релизе VMware vRealize Log Insight Cloud от января 2022 года можно узнать в Release Notes.

Это статьей мы начинаем цикл публикаций и продукте NAKIVO Backup & Replication в контексте отдельных его функций. Напомним, что он предназначен для резервного копирования и репликации виртуальных машин в инфраструктуре VMware vSphere и Microsoft Hyper-V. Вводную статью об основных возможностях этого решения вы можете прочитать вот тут, а сегодня мы подробно расскажем о его механизмах по резервному копированию данных сервисов Microsoft Office 365.

Мы много писали о решении VMware Cloud Disaster Recovery, которое позволяет обеспечивать катастрофоустойчивость виртуальных инфраструктур за счет резервирования онпремизных ресурсов в облаке. Службы VMware Cloud Disaster Recovery позволяют производить восстановление после сбоев по запросу (On-Demand Disaster Recovery) напрямую в облаке VMware Cloud on AWS.

VMware Cloud Disaster Recovery обеспечивает оркестрацию процесса создания реплик на хранилищах S3 Cloud, а также реализацию процесса восстановления инфраструктуры на стороне VMware Cloud on AWS с сохранением показателя RPO равного 30 минутам.

У многих пользователей такой схемы возникает вопрос - а за что они отвечают в этом процессе, за что отвечает VMware, а за что - Amazon?

Ответ можно найти вот тут, мы расскажем об этом вкратце. Итак, VMware Cloud Disaster Recovery состоит из трех компонентов:

• Файловая система Scale-out Cloud File System (SCFS)
• Оркестратор (Orchestrator)
• Коннекторы DRaaS Connectors

VMware запустила свое DRaaS решение в октябре 2020 года и с тех пор предоставляет круглосуточную поддержку этих компонентов, включая накатывание патчей и обновлений на них.

С точки зрения безопасности и операций, ответственность распределяется по трем основным уровням - пользователь, VMware и Amazon AWS:

Пользователь отвечает за:

"Security in the Cloud":

• Безопасность в облаке при развертывании и поддержке окружений VMware Cloud Disaster Recovery
• Безопасность собственной виртуальной инфраструктуры и установку компонентов решения, необходимых для функционирования инфраструктуры катастрофоустойчивости. Также это включает в себя поддержку достаточной скорости соединения между площадками. Пользователь должен заботиться о протоколах шифрования, своевременном обновлении ПО, аудите систем, изменении паролей и всем прочем, что от него зависит.

VMware отвечает за:

"Security of the Cloud" - то есть за безопасность самого облака, что означает защиту систем и программного обеспечения, составляющего основу облака для служб VMware Cloud Disaster Recovery. Очевидно, что это включает в себя не только DRaaS-cервисы, но и платформенные составляющие, такие как VMware vSphere и vSAN.

Amazon отвечает за:

"Security of the Infrastructure" - физические серверы, доступ к ним в датацентрах, функционирование аппаратного обеспечения, исправность физических линий связи и соединений в рамках ЦОД.

Если говорить о разделении зон ответственности в плане конкретных операций и функциональности, то таблица в разрезе указанных трех сущностей выглядит так:

Более детальная информация обо всем этом приведена в документе "VMware Cloud Disaster Recovery Service Description".

Дункан написал хорошую разъясняющую статью про загрузку ESXi с SD-карты и размещение раздела OSDATA на хранилище в SAN. Напомним, что мы писали о том, что VMware уходит от механизма загрузки ESXi с SD-карт ввиду их низкой надежности и неприспособленности под задачи гипервизора.

Как знают администраторы VMware vSphere, начиная с седьмой версии платформы, структура разделов ESXi теперь выглядит следующим образом:

Как мы видим, все основные разделы, не относящиеся к загрузке переехали в раздел ESX-OSDATA. Многие администраторы хотели бы хранить загрузочный раздел локально на SD-карте, а OSDATA - в сети SAN.

К сожалению, это не поддерживается.

Давайте взглянем на таблицу допустимых конфигураций из вот этой статьи VMware:

Действительно, тут как бы есть пункт, что при загрузке ESXi можно использовать SD-карту для Bootbank, а Managed FCoE/iSCSI LUN для OSDATA (но обратите внимание, что это Locally attached devices). Реально же FCoE, iSCSI и FC для загрузки ESXi с SAN можно использовать только тогда, когда и OSDATA, и Bootbank находятся на SAN-устройстве.